Model Performance Evaluation (Accuracy, Precision, Recall, F1-score)

মেশিন লার্নিং মডেল তৈরি করার পর তার কার্যকারিতা (performance) পর্যালোচনা করা অত্যন্ত গুরুত্বপূর্ণ। Apache Mahout-এ মডেল পারফরম্যান্স ইভ্যালুয়েশন (Evaluation) এর জন্য বেশ কিছু গুরুত্বপূর্ণ মেট্রিক্স রয়েছে, যেগুলো মডেলের সঠিকতা এবং কার্যক্ষমতা মূল্যায়ন করতে সহায়তা করে। সবচেয়ে প্রচলিত এবং কার্যকরী মেট্রিক্সগুলো হলো Accuracy, Precision, Recall, এবং F1-score।

এগুলো মডেলটি কতটা সঠিকভাবে কাজ করছে তা নির্ধারণ করতে ব্যবহৃত হয়, এবং বিভিন্ন ক্ষেত্রে এর ব্যবহার আলাদা হয়ে থাকে।

Accuracy (সঠিকতা)

Accuracy হল একটি মেট্রিক যা মডেল কতটা সঠিকভাবে পূর্বানুমান করেছে তা পরিমাপ করে। এটি সঠিকভাবে পূর্বানুমান করা উদাহরণগুলির অনুপাত হিসাবে গণনা করা হয়।

গণনা:

$$\text{Accuracy} = \frac{\text{True Positives} + \text{True Negatives}}{\text{Total Number of Predictions}}$$

এখানে:

• True Positives (TP): সঠিকভাবে পজিটিভ শ্রেণীভুক্ত করা।
• True Negatives (TN): সঠিকভাবে নেগেটিভ শ্রেণীভুক্ত করা।
• False Positives (FP): ভুলভাবে পজিটিভ শ্রেণীভুক্ত করা।
• False Negatives (FN): ভুলভাবে নেগেটিভ শ্রেণীভুক্ত করা।

বিশেষত্ব:

• এটি একটি সাধারণ মেট্রিক, তবে অসন্তুলিত ডেটাসেটে (যেমন স্প্যাম ডিটেকশন) এটি প্রকৃত কার্যকারিতা প্রদর্শন নাও করতে পারে।

Precision (সঠিকতা)

Precision হল সঠিকভাবে পজিটিভ পূর্বানুমান করা উদাহরণগুলির অনুপাত, মোট পজিটিভ পূর্বানুমানের মধ্যে। অর্থাৎ, মডেল যখন পজিটিভ পূর্বানুমান করে, তখন কতবার তা সঠিক ছিল।

গণনা:

$$\text{Precision} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Positives}}$$

বিশেষত্ব:

• Precision মূলত মডেলটির False Positive Rate (ভুল পজিটিভ) কমাতে সাহায্য করে।
• এটি খুবই গুরুত্বপূর্ণ যখন False Positive অনেক খারাপ ফলাফল তৈরি করতে পারে, যেমন ডাকঘর বা ব্যাংকিং সিকিউরিটি ক্ষেত্রে।

Recall (অভিধান)

Recall, যা Sensitivity বা True Positive Rate নামেও পরিচিত, হল সঠিকভাবে পজিটিভ শ্রেণীভুক্ত করা উদাহরণগুলির অনুপাত, মোট পজিটিভ উদাহরণের মধ্যে। এটি মডেল কতটা ভালভাবে সকল পজিটিভ উদাহরণ সনাক্ত করতে সক্ষম তা পরিমাপ করে।

গণনা:

$$\text{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}}$$

বিশেষত্ব:

• Recall মডেলটির False Negative Rate (ভুল নেগেটিভ) কমাতে সাহায্য করে।
• এটি বিশেষভাবে গুরুত্বপূর্ণ যখন False Negative কমানো জরুরি, যেমন মেডিক্যাল ডায়াগনোসিস বা রোগ শনাক্তকরণে।

F1-Score

F1-Score হল Precision এবং Recall এর একটি হারমনিক গড়, যা দুইটি মেট্রিকের মধ্যে একটি ভারসাম্য বজায় রাখে। এটি একটি একক মেট্রিক প্রদান করে যা উভয়ের মধ্যে কোনও একটি কম থাকলে তা সঠিকভাবে প্রতিফলিত করে। যখন Precision এবং Recall এর মধ্যে কোনো সমঝোতা করতে হয়, তখন F1-Score ব্যবহৃত হয়।

গণনা:

$$\text{F1-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

বিশেষত্ব:

• F1-Score একটি balanced metric, যা Precision এবং Recall এর মধ্যে এক ধরনের ভারসাম্য তৈরি করে।
• এটি গুরুত্বপূর্ণ যখন False Positives এবং False Negatives উভয়ই কমানোর প্রয়োজন হয়, যেমন ব্যাঙ্কিং বা মেডিক্যাল ডোমেইনে।

Mahout এ মডেল পারফরম্যান্স ইভ্যালুয়েশন

Apache Mahout-এ মডেল পারফরম্যান্স ইভ্যালুয়েশনের জন্য সাধারণত Evaluate কমান্ড ব্যবহার করা হয়। Mahout সাধারণত মডেল প্রশিক্ষণ ও ইভ্যালুয়েশন প্রক্রিয়ার জন্য কিছু সহজ কমান্ড প্রদান করে, যা কনফিউশন ম্যাট্রিক্স (Confusion Matrix) তৈরি করতে এবং সেখান থেকে Accuracy, Precision, Recall এবং F1-Score হিসাব করতে সাহায্য করে।

Mahout এর জন্য Evaluation কমান্ড উদাহরণ:

mahout evaluate -i input-data -o output-folder

এখানে:

• -i ইনপুট ডেটার পাথ।
• -o আউটপুট ফোল্ডার যেখানে মেট্রিক্স এবং ফলাফল সেভ হবে।

মহুত ইভ্যালুয়েশন কমান্ডের আউটপুট কনফিউশন ম্যাট্রিক্স এবং অন্যান্য পারফরম্যান্স মেট্রিক্সের সঠিক মান প্রদান করবে, যেমন Accuracy, Precision, Recall এবং F1-Score।

Model Performance Evaluation: উদাহরণ

ধরা যাক, একটি মডেলটি 100টি উদাহরণে পূর্বানুমান করেছে, যেখানে:

• True Positives (TP) = 50
• True Negatives (TN) = 30
• False Positives (FP) = 10
• False Negatives (FN) = 10

এখন, আমরা এর পারফরম্যান্স মেট্রিক্সগুলো গণনা করতে পারি:

• Accuracy:

$$\text{Accuracy} = \frac{50 + 30}{100} = 0.80 = 80\%$$

• Precision:

$$\text{Precision} = \frac{50}{50 + 10} = \frac{50}{60} = 0.83 = 83\%$$

• Recall:

$$\text{Recall} = \frac{50}{50 + 10} = \frac{50}{60} = 0.83 = 83\%$$

• F1-Score:

$$\text{F1-Score} = 2 \times \frac{0.83 \times 0.83}{0.83 + 0.83} = 0.83 = 83\%$$

উপসংহার

Model Performance Evaluation মেট্রিক্স (Accuracy, Precision, Recall, F1-Score) Mahout এবং অন্যান্য মেশিন লার্নিং টুলসের মাধ্যমে মডেলটির কার্যক্ষমতা পর্যালোচনা করতে গুরুত্বপূর্ণ ভূমিকা পালন করে। এর মাধ্যমে আপনি জানতে পারবেন মডেলটি কীভাবে কাজ করছে, এবং বিভিন্ন প্রেক্ষাপটে এর সঠিকতা কেমন।